package scala

import org.apache.spark.{SparkConf, SparkContext}

/**
  * 项目名称:spark-learn<br>
  * 包名:scala<br>
  * 用于:spark-learn<br>
  * 创建时间:2019年03月15日<br>
  * 更新时间:2019年03月15日<br>
  *
  * @author :lds（创建人）<br>
  * @version :v1.0（版本号）<br>
  * @since jdk1.8
  */
object TextFileDemo {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("textFile")
    val sc = new SparkContext(conf)
    val linesRDD = sc.textFile("README.md")
    val titleRDD = linesRDD.filter(line => line.contains("####"))
    val numLinesRDD = linesRDD.filter(line => line.matches("^\\d\\..*$"))
    val unionRDD = titleRDD.union(numLinesRDD).cache()
    //java中这样会有问题
    unionRDD.foreach(println)
    //采样输出
    unionRDD.take(10).foreach(println)
    unionRDD.saveAsTextFile("")
  }

}
